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Про розшзнавання мовлення на шдстав1 
межфонемных переход1в 


Содержание статьи относится к области пофонемного распознавания русских слов. В качестве базовых 
элементов предлагается использовать не стационарные части звуков речи, а участки межфонемных 
переходов. Описываются преимущества такого подхода. Предлагается метод распознавания слов по эталонам, 
автоматически формируемым программой с использованием заранее созданной базы межфонемных 
переходов. Важнейшее применение — распознавание больших словарей. Описывается программа быстрого 
создания базы межфонемных переходов на основе автоматической сегментации речевого сигнала. 
Ключевые слова: межфонемный переход, дифон, сегментация, 

распознавание больших словарей 
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Г. Стремясь создать систему пофонемного распознавания русских слов, авторы 
данной работы долгое время пытались использовать в качестве элементов распозна- 
вания стационарные части звуков речи [1-2]. К этому нас побуждало то, что общее 
количество таких звуков (гласных, звонких согласных, шипящих, аффрикат и т.д.) не 
велико, всего несколько десятков. Однако хорошо известен эффект коартикуляции — 
влияние друг на друга соседних звуков. Например, согласный звук заметно меняется, 
если за ним следует огубленный гласный [0] или [у]. Учитывая важнейшую роль пар 
соседних звуков в слове, авторы решились бы сформулировать свою сегодняшнюю 
точку зрения в виде следующего тезиса: Один из возможных ключей к распознаванию 
речи лежит в межфонемных переходах. 

П. Анализ высказанного утверждения можно начать со следующего простого 
эксперимента. Используя какую-либо известную программу работы со звуком, нап- 
ример «Зоипа Рогее», запишем два произвольных слова, а затем вырежем стационарные 
(серединные) части составляющих их звуков. Воспроизведя получившийся звуковые 
сигналы, мы можем на слух определить, какие слова звучат. Напротив, вырезав меж- 
фонемные переходы и оставив стационарные части фонем, мы затруднимся на слух 
различить, например, слова «мама» и «лама». 

Следующий аргумент относительно роли при распознавании межфонемных пере- 
ходов — использование при ОТ\У/-распознавании [3], [2] эталонов слов, полученных 
удалением стационарных частей звуков, из которых эти слова состоят. Эксперименты 
показывают, что такое распознавание не менее успешно, чем распознавание по «пол- 
ным эталонам». На рис. 1 приведено окно для ОТУ/- распознавания. 
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Рисунок 1 — Окно для ОТ\У/-распознавания с полными и урезанными эталонами 
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В левом списке расположены слова, для которых построены эталоны (о них чуть 
ниже) по полному сигналу, и те же слова (они снабжены в конце символом -м), которые 
получены оставлением лишь межфонемных переходов — 3 окна по 368 отсчетов слева 
и 3 окна по 368 отсчетов справа от метки между соседними звуками (это достигается 
нажатием кнопки «межфонемное». Количество окон указывается в полях справа. После 
этого эталоны строятся для таких урезанных сигналов). Если после произнесения слова 
сигнал урезать таким же образом, то слова с меткой «-м» распознаются так же стопро- 
центно, как и исходные. Если оставить лишь урезанные эталоны, то слова будут сто- 


процентно распознаваться и без урезания распознаваемого сигнала. 

Остановимся на используемой нами при ОТУ’-распознавании системе признаков [2]. Отрезок 
речи, вводимый с микрофона, оцифровывается с частотой 22050 кГц. В соответствующий буфер зано- 
сится 10 тысяч чисел: 


Ут, У2 ›---› У10000 (1) 
значения напряжения на выходе микрофона в последовательные моменты времени (Эти моменты вре- 
мени будем называть отсчетами). Сам ряд чисел (1) и соответствующую функцию 


УВ = У, (2 
будем называть сигналом. Таким образом, числа (1), в конечном счете, отражают изменение давления 
на мембрану микрофона как функцию времени. На экран монитора может быть выведен график сиг- 
нала, как функция времени (визуализация сигнала). 

Сглаживанием сигнала мы называем обработку его 3-точечным скользящим фильтром 


= нЕ У Ум р=2,3,.., 9999. (3) 
3 
Дальнейшая работа происходит с поточечной разностью исходного и десятикратно сглаженного 
сигнала. Это позволяет в некоторой степени «очистить» его от индивидуального тембра говорящего и 
тем самым сделать шаг в направлении дикторонезависимости системы распознавания. Далее, если не 
оговорено противное, под сигналом будем понимать указанную разность и, чтобы не усложнять обоз- 
начений, считать, что (1) и (2) соответствуют именно ей. 


Пусть [ — число отсчетов между двумя соседними локальными максимумами функции (2) (на- 
зовем сужение функции на соответствующий интервал полным колебанием). Если максимумы не строгие, 


то под [ будем понимать число отсчетов от начала первого максимума до начала второго. Определим 
величину 7: 
120 при20< 1<50; 2=25+ 1-50 при 50< [<90; # = 29 при [> 90. 
10 
Ближайшее целое число, не превосходящее 7, назовем длиной соответствующего полного коле- 
бания. Таким образом, длина полного колебания учитывается тем более точно, чем оно короче. Выделим 


участок сигнала и обозначим через И общее число полных колебаний на этом участке, через и, — 


=[при2< [<20;2=20+ 


число полных колебаний длины 2...., через И 28 — Число полных колебаний длины 29. 


Поставим в соответствие выделенному участку вектор 
ых ), (4) 
где х, =п,/П,к = 1,2,... 28 ‚8 - отношение амплитуды (разность наибольшего и наи- 
меньшего значений) рассматриваемого участка сигнала к амплитуде всего сигнала. Величина & вво- 
дится для того, чтобы надежно отделить паузу от значащей части сигнала, а нормировка ее делается, 
чтобы отвлечься от громкости произносимого. 

Разобьем записанный сигнал в 10 тысяч отсчетов на отрезки по 368 отсчетов в каждом (удвоен- 
ный квазипериод основного тона для мужского голоса средней высоты). Для каждого из 27 полных 
отрезков вычислим вектор (4). Последний неполный отрезок просто отбросим. В результате мы пред- 
ставляем сигнал в виде траектории, то есть последовательности 27 точек в 29-мерном пространстве: 


А = (а ‚а, „-- ал). 

Ш. Далее мы условимся называть выделяемый нами участок межфонемного 
перехода дифоном. При этом отметим, что наш участок для каждого межфонемного 
перехода внутри слова имеет стандартную длину и короче того, что обычно понимается 
под дифоном — отрезок от середины предшествующего звука до середины следующего. 
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Перечислим теперь некоторые преимущества предлагаемого подхода. 

1. При использовании дифонов появляется надежный способ различения между 
собой звуков [6], [т], [д]. 

Выдержка звонких взрывных согласных [6], [т], [д] включает два момента: во- 
первых, органы речи образуют полную смычку; во-вторых, напор воздуха ее проры- 
вает. На рис. 2 — 4 приведены визуализации сигналов, соответствующих словам «САБО», 
«САГА» и «САДА» (родительный падеж слова «САД»), содержащих звонкие взрыв- 
ные а [6], [т], [д]. 
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Рисунок 2 — Сигнал, отвечающий слову «сабо» 
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Рисунок 3-— Сигнал, отвечающий слову «сага» 
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Рисунок 4 — Сигнал, отвечающий слову «сада» 


Из них видно, что большая часть участков, отвечающих этим звукам, является 
квазипериодической. Этот факт легко понять, если попытаться произнести эти звуки 
изолированно, без последующего гласного. Мы видим, что еще до взрыва начинают 
звучать голосовые связки, они и создают квазипериодический отрезок в сигнале. Отли- 
чия же между указанными звуками в приведенных словах сосредоточены на очень 
коротком переходе к последующему звуку. Поэтому, работая со стационарными час- 
тями, мы были лишены возможности различать указанные звуки между собой. При 
использовании межфонемных переходов такая возможность появляется. 

2. Появляется надежный способ различения между собой звуков [к], [п], [Т] в 
середине слова. Пример — слова «папа» и «пата» (родительный падеж от шахматного 
р и На рис. 5 приведена визуализация сигнала, отвечающего слову «ЛАПА». 
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Рисунок 5-— Сигнал, отвечающий слову «лапа» 
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Поскольку при произнесении глухих взрывных [к], [п], [Т] также есть момент 
полного перекрытия голосового тракта, но голосовые связки в этот момент молчат, 
то в сигнале появляется характерный паузообразный сегмент. Работая со стационар- 
ными частями, мы были лишены возможности различать между собой и эти звуки. 
С использованием дифонов такая возможность появляется. 

3. Становятся надежно различимыми парные твердые и мягкие согласные. К 
связанному с этим вопросу вернемся в конце пункта ТУ. 

4. Появляются новые возможности в распознавании сверхбольших словарей. 
На последнем остановимся подробнее. 

ГУ. Имея достаточно совершенную систему автоматической сегментации (раз- 
биения записанного слова на участки, отвечающие отдельным звукам) и автоматиче- 
ского отнесения каждого звука к гласным (у начальной метки участка проставляется 
идентификатор \\/), звонким согласным (С), шипящим (Е) и паузообразным звукам (Р), 
мы разработали систему, которая, используя стационарные части звуков, классифи- 
цировала их в рамках указанных классов. Она должна была различать между собой 
гласные, различать между собой звонкие согласные и различать между собой шипящие 
и свистящие звуки. В ходе этого весьма частыми были отказы от распознавания, что 
приводило к необходимости вместо определения одного из двух звуков допускать 
возможность присутствия каждого из них. (Напомним, что мы с самого начала отка- 
зывались от распознавания между собой [6], [т], [д], а также от различения между 
собой [к], [п], [т]). В результате вместо конкретного распознанного слова мы получали 
список слов — кандидатов на распознавание. Отметим, что его размер на порядки 
меньше размера исходного словаря. В полученном списке пользователь двойным 
щелчком мыши выделял нужное слово. При этом автоматически создавался голосовой 
эталон с именем соответствующей леммы (словарная форма слова), который позволял 
в последующем, используя ОТУ’-распознавание в пределах списка кандидатов, в 
большинстве случаев распознавать словоформы этого слова, отождествляя их с данной 
леммой. В случае, когда упомянутый список кандидатов сводился к одному слову, 
эталон для него создавался без дополнительного указания пользователя. Таким обра- 
зом, исключая эти не часто встречавшиеся случаи, пользователю приходилось, обучая 
программу по ходу распознавания, самому создавать эталоны большинства произно- 
симых слов. 

При новом подходе достаточно создать эталоны всех дифонов, что при наличии 
удобной программы пользователь может сделать за один сеанс работы (такая программа 
описана ниже). Это оказывается достаточным ввиду следующего. 

У нас есть программа, которая по написанному русскому слову создает его тран- 
скрипцию и синтезирует эталон этого слова из эталонов дифонов. На рис. 6 показан 
фрагмент окна, связанного с этими функциями. По нажатии кнопки «синтез» при вы- 
ключенном флажке «синтез из эталонов» из звуковых файлов дифонов «склеивается» 
звуковой файл слова и создается его ОТУ/-эталон. При включенном флажке эталон 
слова склеивается непосредственно из эталонов дифонов. Последний вариант является 
более быстрым и обладает тем преимуществом, что составляющие эталоны дифонов 
можно усреднять [2]. Последнее важно при работе в направлении дикторонезависи- 
мости. 

Возвратимся к программе распознавания большого словаря. Теперь мы получаем 
возможность, пользуясь сравнительно небольшой величиной списка слов — кандидатов 
на распознавание, автоматически синтезировать эталоны этих слов из эталонов ди- 
фонов и вести ОТ\У/-распознавание по этим эталонам в пределах указанного списка. 
Результат — однозначное распознавание слова без дополнительного вмешательства 
пользователя. 
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Синтез слова 


Слово: Эталоны: 


остан\овка остан\овка 
Транскрипция: 

астанофка 
Фрагменты: 

а0-ас-ст-та-ан-но-оф-фк-ка-а2 


№ синтез из эталонов 


Распознать 


Рисунок 6 — Фрагмент окна для синтеза. 
Синтезирован из дифонов эталон слова «остановка» 


Отметим, что при распознавании слов словаря Зализняка [4], содержащего около 
94600 слов, достаточно работать со списками кандидатов на распознавание, которые 
получаются при сегментации и широкой фонетической классификации (классы У, 
С, Е, Р), если сократить этот список путем классификации дифонов типа СУ, ЕУ, 
РУ! по твердости-мягкости. Остановимся на последней процедуре подробнее. Для 
определенности будем говорить о дифонах типа СУУ. 

Для классификации по твердости-мягкости используется перечень дифонов 
[ба], [ва]...[Ъи], [Уи],..., где латинскими буквами обозначены мягкие звонкие согласные 
звуки. Здесь довольно много объектов, но при распознавании учитываются только 
два класса: твердый дифон и мягкий дифон. То есть результаты [ба], [ва], [га],...,[но], 
[ну], [ны], [нэ] отождествляются. Отождествляются также результаты [Ъ$],...,[п4] 
(4- транскрипционный символ для ударного звука [я]). Аналогично анализируются на 
твердость — мягкость дифоны типа РУ, РУУ. Такой способ распознавания на «твердость 
— мягкость», как показывает опыт, обладает очень высокой надежностью. 

При описанной работе со словарем Зализняка слово «мама», например, попадает 
в список из 179 слов со структурой С\СУ, для которых фактически в реальном вре- 
мени вышеописанным образом создаются надежные эталоны. 

Таким образом, при новом подходе к распознаванию больших словарей ситуация 
меняется радикально. Вместо того, чтобы, в конечном счете, создавать эталоны для 
всех слов распознаваемого словаря, пользователю достаточно создать эталоны для 
дифонов (межфонемные переходы). При этом распознаваемые словари могут нас- 
читывать сотни тысяч и даже миллионы словоформ русских слов, в то время как 
количество всех дифонов по порядку величины есть квадрат от количества тран- 
скрипций звуков русской речи, числом всего около 1450. 

Сделаем дополнительные замечания. Спрашивается, зачем синтезировать из 
эталонов дифонов эталон слова? Не проще ли, распознавая дифоны между собой, 
получить их список, соответствующий слову, и по нему распознать слово? Нет, не 
проще. Дело в том, что дифонов достаточно мало для обучения, но слишком много 
для распознавания словаря этих дифонов, в особенности учитывая, что это короткие 
звуковые единицы, а ОТУ/-распознавание, естественно, тем надежнее, чем длиннее и 
разнообразнее по составу распознаваемые объекты. Создание синтезированных эта- 
лонов слов — как раз шаг в этом направлении и он позволяет использовать ОТ\У/-рас- 
познавание целых слов со всеми его преимуществами. 
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У. Остановимся на программе, которая позволяет достаточно быстро создать 
эталоны всех дифонов. 


Эталоны для синтеза 


<- Добавить | 


Г автообучение 


<-Вставить | 
ба 
Удалить | 


Копировать эт. | 


Отменить | 


М 
1 
1 
1 
1 
1 
1 
1 
1 
1 
1 
1 
4 
1 
1 


[М чсреднять 


удалить эталоны 
создать из файлов 


АНЯ М согласный _ <Распознать | 


Рисунок 7 — Окно для создания базы дифонов 


На рис. 8 показана визуализация сигнала, отвечающего слову «собака» с авто- 
матически выделенным дифоном «ба». Рис. 7 — окно программы для создания базы 
дифонов. Программа работает следующим образом. В поле, в котором на рисунке 
записано «ба», записывается имя нужного дифона или участка звука в начале или в 
конце слова (имена последних снабжаются в конце символами 0 или 2 соответственно). 
При этом происходит автоматическое включение радио-кнопки «авто!» (выделяется 
участок в начале слова) или «авто2» (выделяется дифон в середине слова), и в выпа- 
дающем списке 

\/С, \Е, \Р, СУ, СС, СЕ, СР, ЕУ, ЕС, ЕЕ, ЕР, РУ, РС, РЕ, РР, 
(на рис. 7 в соответствующем окне записано СУ’) автоматически выбирается тип 
межфонемного перехода. 

При произнесении слова сигнал автоматически сегментируется. В окне, пред- 
ставленном на рис. 8, проставляются метки, отделяющие участки соседних звуков. 


9 Весовттег - [\!ОКО1] о 
%$ Ее ЕЧЕ \Мем ОрНопз \\ИпЧдом Нар 
Сы › ео СОС же мшяКк Ни вна т $ 42 Р в т в Ь 


ГЕФС в мВ $ Е 


Рисунок 8 — Сигнал, отвечающий слову «собака» 
с автоматически выделенным дифоном «ба» 
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Далее автоматически выделяется окрестность метки в первом дифоне слова, 
имеющем указанный тип, и по нажатии кнопки «Вставить» создается его эталон, 
который помещается в базу эталонов. Участки в конце слова пока выделяются руками 
С ПОМОЩЬЮ МЫШКИ. 

Если записать в упомянутом поле имя дифона, затем включить флажок «авто- 
обучение» и проделать вышеописанные операции, то после нажатия кнопки «вставить» 
в этом поле появится имя следующего дифона из заранее подготовленного списка 
дифонов И будут выполнены операции, позволяющие автоматически выделить его в 
сигнале и создать его эталон после произнесения подходящего звукосочетания. 
Именно эти возможности позволяют пользователю создать базу эталонов дифонов, 
что называется, «в один присест». 
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У.Ли. Зпе[ероу, А.У. МсепкКо, (.У. огойта 


Оп эреесй Кесоетпоп Ияте Рйопете Тгапутоп5 Вахе 

\У!е сап Бест Фе апа[уз1$ оЁ 41$ зеаетепь ул Фе пехё зпаре ехреитепе. Озше апу 
Кпо\т ргоотат Юг \о УЛ з0ип4$, “Зоипа Еогое” Юг ехатр, 1еР$ гесогА Кмо гапдот 
\ог4$ ап сиё $айопагу (сепга!) рвопете раз. Авег тергодисйоп \е сап гесостите Фе 
рВопайоп оЁ Фезе \уог45. Оп Фе сопбагу, 1 \е сиё рвопете бгапз!аоп$ апа Кеер зайопагу 
рам, \ме \уШ Бе аё 105$ Гог гесосшоп оЁ засВ У/ог4$ аз “тата” апа “Чата”. 

Тье пех( агоитепе 1$ изе оЁ затр!ез авег сиё аП рВопете хаНопагу рап$ Рог ОТУ- 
тесоетоп ([1], зее ао [2]). ТВе ехрегилет зВо\$, Фа засВ гесостш@оп 1$ пой 1е$$ 
зиссез$ ВИ еп тесоет@оп оЁ № затр|ез. 

Ге’ пате а зерагйе рам о рвопете тгап$1оп “@рвопе”. Оиг арВопе Ваз а 
$бапага 1еп> апа 15$ зВомег Шеп изиа| Чрвопе, \ЫсЬ 15 а рлесе Нот Фе пла4е 
рвопете агеа {ю Фе пе оЁ Фе пехЕ рБопете агеа. 

Неге 15$ Ще 15 оЁ адуащасез оЁ Фе ргорозе4 арргоасв: 

1) УБеп изте а1рБопез ме Вауе ап оррогипиу Гог гесост@оп оЁ рВопетез [Ъ], 
[2], [4] ап4 гесост@оп оЁ рвопетез [р], [К], [4]. 

2) Раз оЁ Баг4 ап4 зоЁ сопзопап$ ш Ше Киззлап |апоиазе Бесоте а15ипеизВаЫе. 

3) Мем орропашйез Юг гесостийоп$ оЁ зирег 1агое уосаб\апез$ аге арреаппе. еЁ$ 
езспЬе {1$ адуащасе т тоге аеап. 
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\Пеп изше $айопагу рБопете рамз, тесостиаоп БтеаК4о\п$ ш рПопете 
тесосптоп у\Пеп изше $аНопагу рВопете раз оНеп {аКе р1асе. Весаизе оЁ 1$ Рась 
ш${еа4 о! даегиттаНоп оЁ опе ог {№0 рВопетез, п 15 песеззагу {0 емецат а роз Ииу 
а( еасВ оЁ Фе рвопетез 1$ ргезепе. Аз Ше гези, шуеа4 оЁ гесоэп12е4 \уога, уе Вауе а 
[1$ ОЕ сап19абез Гог гесост1йоп. [$ $17е 15 опе ог4ег 1е5$ еп шла! уосаб\агу $17е. 

А изег зВоША своозе а ргорег \ога ш Фе 1$ Бу доцЫе-сПск. АЕ Ше зате ите, 
уотсе затр!е \и Фе пате оЁ Фе таш Гогт оЁ \огА \/аз стежеа. П регпивеа 1жег (т 
11054 сазез) 1ю гесостите аП Гогил$ оЁ Фе угога 14епаРуте Фет у таш Гогт. УУБеп Фе 
[156 о сапЧ1Чае$ соп(атл$ ошу опе \’ота, Ше затр[е юг Е \аз стеме4 амютайсаПу. 

Тра$ а изег Вад о стеме Фе затр]ез Гог Ше 110$ раг оЁ Фе ргопоипсе4 \ог4б$. 

шт Фе пе\м арргоасВ, 1 1$ заЁйслепЕ © стгеме затр]ез ог аП арВопез. \е Вауе а 
сотоцаЫе ргостат, св аПо\/з 4оше и а опсе. И 1$ епоизВ Бесаизе оЁ Фе оПо\ли® 
Гас. 

\У!е Бауе а ргоэгат, у мсЬ 1$ \пИиеп Юг Кизуап \ога ап \№сВ югтз$ Фе 
‘тапзсирйоп юг Кизз1ап \ог4$ ап зупезез Фет затр!е из» Атрвопе затр|ез. зо ме 
её Фе орропапиу (ш уле\ оЁ поЁ Ыс $12е оЁ 1$ оЁ сапбАжез Гог тесоет!оп) ю 
зупе$17е затр!ез Гог Шезе \уогА сапд1Ч9аез$ ааютайсаПу, изше ЧрВопе затр]ез апа 
ош ОТУ/-гесостоп муфт 1$ 154. 

ТБе гезий: 1$ итаче гесоот оп оР Те ууогА уно аа опа!| изег’$ ибегуепйоп. 

Тра$ ш Фе пе\м гесосп!аоп арргоасВ, Фе зИиайоп гаФсаПу сБапеез. шуеа оЁ 
стеайп® затр/ез ог аП гесоеп1те \/ог4$, И 15 заЁРйасепЕ ю сгеме затр!ез ошу Юг 
Чрвопез. АЕ Фе зате ите, уосабагу сап соташ Фоизап$ ап еуеп пИПоп$ оЁ Юпп$ 
ог Киз$1ап \9ог4$ \УРИе даапибу оЁ аП 41рВопез ассогФте ю Ше огаег оЁ уаше 1$ Фе 
зесоп4 Дезтее о{ апап у Кизз1ап рВопетез (ве {опа зит 15 абоиЕ 1450). 

\е а[50 ппиз{ пое ШаЁ Юг гесооп оп оЁРа|П уога$ оЁ ГХаПтп]ак’$ ЧсНопагу, \В1св 
сощатз абоиЕ 94600 \ога$, 1 1$ за АслепЕ ю могК ощу ми улае рвопейс с1аз1Ясайоп 
Шо гедисе Фе 11545 оЁ сап1Ааез изше Вага ап4 зо @рвопе с1аз$1Ясайоп. Ё 1$ допе \ий 
а 5121 ]еуе] оЁ тепа пу. 


Статья поступила в редакцию 01.04.2011. 
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